Tô Uy là con trai của Tô Xước, đại thần thời Tây Ngụy, vốn phục vụ Thượng trụ quốc Vũ Văn Thái, người nắm toàn bộ quyền lực trong triều đình Tây Ngụy, được phong tước Mĩ Dương huyện công[2]. Năm 547, Tô Xước qua đời, khi đó Tô Uy mới 5 tuổi, được tập tước công của cha, sau đó được phong làm Công tào Sĩ quận.

Năm 556, con trai của Vũ Văn Thái là Vũ Văn Giác cướp ngôi Tây Ngụy, tự xưng Bắc Chu Hiếu Mẫn Đế, lập ra nhà Bắc Chu. Tuy nhiên trong những năm ấy, quyền lực thực sự nằm trong tay anh họ của Hiếu Mẫn Đế là Tấn công Vũ Văn Hộ. Vũ Văn Hộ sau đó liên tiếp sát hại hai hoàng đế Bắc Chu. Thấy Tô Uy có tài, Vũ Văn Hộ mến phục, đem con gái là Tân Hưng quận chúa gả cho. Tuy nhiên thấy Vũ Văn Hộ chuyên quyền, sợ mình cũng sớm bị tai họa, bèn bỏ trốn lên núi. Người chú của ông (không rõ tên) tìm cách bức ép, ông đành phải trở về, cuộc hôn nhân bị bãi bỏ.

Sau đó, Tô Uy được triều đình phong làm Sử Trì tiết, Xa kị đại tướng quân, Nghi đồng tam ti, đổi phong làm Hoài Đạo huyện công. Về sau, Bắc Chu Vũ Đế diệt Vũ Văn Hộ, nắm được quyền lực, lại phong Uy làm Sảo Bá hạ đại phu. Nhưng sau đó ông lấy cớ có bệnh từ chức. Em gái cùng cha của ông lấy Dương Hùng, nguyên quán ở Hà Nam. Hùng không được lòng người Đột Quyết, Đột Quyết sai sứ tới triều để xin bắt Hùng và vợ con lên phía bắc. Tô Uy bèn bán hết của cải để chuộc em gái mình ra, tránh để em bị liên lụy.

Năm 579, Bắc Chu Tuyên Đế lên ngôi, sách phong Tô Uy Khai phủ.